Địa bàn huyện Lâm Bình trước đây vốn thuộc hai huyện Na Hang và Chiêm Hóa. Theo Đại Nam nhất thống chí và các sách địa lý học lịch sử khác: Các đời Đinh (968 - 980), Tiền Lê (980 - 1009), Lý (1010 - 1225), Trần (1225 - 1400) địa bàn các huyện trên thuộc châu Vị Long. Thời thuộc Minh (1414 - 1427) là châu Đại Man. Từ thời Lê đến đầu thời Nguyễn, châu Đại Man thuộc phủ Yên Bình. Năm Minh Mệnh thứ 16 (1835) đổi gọi châu Đại Man là châu Chiêm Hóa, thuộc phủ Yên Ninh (sau đổi là phủ Tương Yên).

Trong thời kỳ Pháp thống trị, châu Chiêm Hóa thuộc Tiểu quân khu Hà Giang (1891 - 1895), rồi thuộc Tiểu quân khu Tuyên Quang (1895 - 1900) nằm trong Đạo quan binh 3, rồi thuộc tỉnh Tuyên Quang tái lập ngày 11 tháng 4 năm 1900.

Tháng 11 năm 1944, châu Chiêm Hóa được chia làm hai châu Chiêm Hóa và Nà Hang:

• Châu Chiêm Hóa gồm 4 tổng: Cổ Linh, Đài Quan, Vĩnh Gia và Thổ Bình
• Châu Nà Hang gồm 3 tổng: Vĩnh Yên, Thượng Lâm và Côn Lôn.

Ngày 26 tháng 2 năm 2011, tại xã Lăng Can, huyện Nà Hang, Tỉnh ủy và UBND Tuyên Quang tổ chức lễ công bố Nghị quyết số 07/NQ-CP của Chính phủ[1] về việc điều chỉnh địa giới hành chính huyện Nà Hang và huyện Chiêm Hóa để thành lập huyện Lâm Bình thuộc tỉnh Tuyên Quang, trên cơ sở tách 5 xã: Lăng Can, Thượng Lâm, Khuôn Hà, Phúc Yên, Xuân Lập thuộc huyện Na Hang và 3 xã: Bình An, Thổ Bình, Hồng Quang thuộc huyện Chiêm Hóa.

Sau khi thành lập, huyện Lâm Bình có 8 xã trực thuộc. Huyện lỵ đặt tại xã Lăng Can.